iOS 实现语音边录边传

Posted on | Edited on | In |

基本原理就是在用户开始录音的时候就与服务器建立连接,将音频数据分块传输,直到停止录音.
相比录音结束后上传整个音频数据,边录边传更省时间,从而提高用户体验.

主要流程

  1. 开始录音,与服务器建立流上传连接
  2. 录音期间,将分块数据传输到服务器
  3. 录音结束并且所有数据传输完毕,关闭流连接
  4. 处理服务器返回的数据

与服务器建立连接

用户开始录音时,建立流上传连接任务.在session调用uploadTaskWithStreamedRequest:后,系统会调用URLSession:task:needNewBodyStream: 代理方法获取输入流(HTTPBodyStream),通过输入流就可以向服务器上传分块数据

1
2
3
4
5
6
7
8
9
10
11
12
13
NSURLSessionConfiguration *config = [NSURLSessionConfiguration defaultSessionConfiguration];
NSURLSession *session = [NSURLSession sessionWithConfiguration:config];

// 实例化 request
NSURL *r_url = [NSURL URLWithString:@"http://www.example.com"];
NSMutableURLRequest *request = [NSMutableURLRequest requestWithURL:r_url];
request.HTTPMethod = @"POST";

// 创建上传任务
NSURLSessionUploadTask *uploadTask = [session uploadTaskWithStreamedRequest:request];
    
// 任务执行
[uploadTask resume];

实现代理方法,传入输入流给session
建立输入流的方式有两种:

  • 调用NSStream类方法getBoundStreamsWithBufferSize:inputStream:outputStream:得到两个绑定的流对象输入流(inputStream)和输出流(outputStream),当输出流写入数据的时候系统内部会将数据传递给输入流.
  • 子类化NSInputStream(文后链接有介绍这种方法,原文作者推荐第一种方法,本文不重点讲解)
1
2
3
4
5
6
7
8
9
10
11
12
- (void)URLSession:(NSURLSession *)session task:(NSURLSessionTask *)task needNewBodyStream:(void (^)(NSInputStream * _Nullable))completionHandler
{
    NSInputStream *inputStream = nil;
    NSOutputStream *outputStream = nil;
    [NSStream getBoundStreamsWithBufferSize:1024 inputStream:&inputStream outputStream:&outputStream];
    self.bodyStream = inputStream;
    self.outputStream = outputStream;
    self.outputStream.delegate = self;
    [self.outputStream scheduleInRunLoop:[NSRunLoop currentRunLoop] forMode:NSDefaultRunLoopMode];
    [self.outputStream open];
    completionHandler(self.bodyStream);
}

数据分块上传到服务器

传输分块数据,写入分块数据是在stream:handleEvent:方法处理的,上文有设置输出流代理并且开启,每当有数据可以写入的时候,就会代用代理方法.

  • NSStreamEventHasSpaceAvailable事件表示有新数据可以写入,输入流写入数据方法write:maxLength:
  • 当用户停止录音并且所有数据写入完成之后,我们需要关闭输出流和将其代理置空.如果不关闭流,可能会出现连接超时,数据传输失败.
  • 所有数据是否写入完成需要结合具体场景来判断
  • 关于输入流输出流如何使用,请参考苹果给的demo
  • 下面是伪代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
- (void)stream:(NSStream *)aStream handleEvent:(NSStreamEvent)eventCode
{
    
    switch (eventCode) {
        case NSStreamEventNone:
            NSLog(@"NSStreamEventNone");
            break;

        case NSStreamEventOpenCompleted:
            NSLog(@"NSStreamEventOpenCompleted");
            break;

        case NSStreamEventHasBytesAvailable: {
            NSLog(@"NSStreamEventHasBytesAvailable");
        } break;

        case NSStreamEventHasSpaceAvailable: {
        	NSLog(@"NSStreamEventHasBytesAvailable");

        	// 录音中且有新数据需要写入,输入流写入数据

        	// 录音中没有新数据,等待新数据进入

        	// 录音停止,数据未写完

        	// 录音停止,所有数据未写完,关闭输入流,设置输入流代理为nil

        	....

        } break;

        case NSStreamEventErrorOccurred:
            NSLog(@"NSStreamEventErrorOccurred");
            break;

        case NSStreamEventEndEncountered:
            NSLog(@"NSStreamEventEndEncountered");
            break;

        default:
            break;
    }
}

处理服务器响应数据

要获取服务器返回的数据需要结合下面的代理方法:

  1. URLSession:dataTask:didReceiveResponse:completionHandler:
  2. URLSession:dataTask:didReceiveData: 如果服务器返回的数据量大，比如包含二进制音频视频等，会分段接收
  3. URLSession:task:didCompleteWithError:所有数据接收完成后会调用改方法

实现第一个代理方法的completionHandler,才会调用第二个代理拿到服务器数据

1
2
3
4
5
6
7
8
9
10
11
12
- (void)URLSession:(NSURLSession *)session
          dataTask:(NSURLSessionDataTask *)dataTask
didReceiveResponse:(NSURLResponse *)response
 completionHandler:(void (^)(NSURLSessionResponseDisposition disposition))completionHandler
{
    
    if (urlResponse.statusCode >= 200 || urlResponse.statusCode <= 299) {
        NSHTTPURLResponse *urlResponse = (NSHTTPURLResponse *)response;
   		completionHandler(NSURLSessionResponseAllow);
    }

}

接收服务器响应数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
- (void)URLSession:(NSURLSession *)session dataTask:(NSURLSessionDataTask *)dataTask
    didReceiveData:(NSData *)data {

    NSHTTPURLResponse *res = (NSHTTPURLResponse *)dataTask.response;
    NSLog(@"Send audio status code：%d", (int)res.statusCode);
    
    if (self.streamUploadTask == dataTask) {
       
        // 拼接数据
        [self.streamReceiveData appendData:data];

    }  else {

    	// 其他任务响应数据
    }
    
    
}

数据处理

1
2
3
4
5
6
7
8
9
10
11
12
- (void)URLSession:(NSURLSession *)session
              task:(NSURLSessionTask *)task
didCompleteWithError:(nullable NSError *)error
{
    if (self.streamUploadTask==task) {

        if(!error) {
            // 数据处理
        } 
        
    } 
}

相关链接

How to stream upload recorder audio as multipart message to a http/2 endpoint
NSStream Demo
原文链接